Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders
不稳定特征与可复现子空间：理解稀疏自编码器的种子依赖性
🧭 SAE训练稳定性 · 低秩子空间
T-Tech
提出可扩展的特征稳定性度量，揭示稳定特征主导功能信号，不稳定特征集中于可复现的低秩子空间
📌 工作参考价值（4 点）
- 若在电商推荐中采用 SAE 抽取可解释特征，应优先信任稳定性高的特征，它们对重建和下游预测贡献更大，不稳定特征多为表面形式触发，实际效果弱。
- 对于不同随机种子下特征不一致的问题，可通过跨种子合并独特特征构建更稳定的 SAE，同时保持解释方差，这一 trick 可直接用于生产中的可解释性模块。
- 不稳定特征虽单个不可复现，但整体驻留于可复现的低秩子空间，说明可对激活空间施加低秩约束来增强特征的可辨识性，为模型设计提供几何视角。
- 该稳定性评估方法可扩展，适用于不同模型层和字典大小，可快速筛选可靠特征，减少线上实验的种子敏感波动。